A recent line of work studies overparametrized neural networks in the "kernel regime," i.e. when the network behaves during training as a kernelized linear predictor, and thus training with gradient descent has the effect of finding the minimum RKHS norm solution. This stands in contrast to other studies which demonstrate how gradient descent on overparametrized multilayer networks can induce rich implicit biases that are not RKHS norms. Building on an observation by Chizat and Bach [2018], we show how the scale of the initialization controls the transition between the "kernel" (aka lazy) and "rich" (aka active) regimes and affects generalization properties in multilayer homogeneous models. We provide a complete and detailed analysis for a simple two-layer model that already exhibits an interesting and meaningful transition between the kernel and rich regimes, and we demonstrate the transition for more complex matrix factorization models and multilayer non-linear networks.

In-context learning has shown great success in i.i.d semantic parsing splits, where the training and test sets are drawn from the same distribution. In this setup, models are typically prompted with demonstrations that are similar to the input question. However, in the setup of compositional generalization, where models are tested on outputs with structures that are absent from the training set, selecting similar demonstrations is insufficient, as often no example will be similar enough to the input. In this work, we propose a method to select diverse demonstrations that aims to collectively cover all of the structures required in the output program, in order to encourage the model to generalize to new structures from these demonstrations. We empirically show that combining diverse demonstrations with in-context learning substantially improves performance across three compositional generalization semantic parsing datasets in the pure in-context learning setup and when combined with finetuning.

Comparing representations of complex stimuli in neural network layers to human brain representations or behavioral judgments can guide model development. However, even qualitatively distinct neural network models often predict similar representational geometries of typical stimulus sets. We propose a Bayesian experimental design approach to synthesizing stimulus sets for adjudicating among representational models efficiently. We apply our method to discriminate among candidate neural network models of behavioral face dissimilarity judgments. Our results indicate that a neural network trained to invert a 3D-face-model graphics renderer is more human-aligned than the same architecture trained on identification, classification, or autoencoding. Our proposed stimulus synthesis objective is generally applicable to designing experiments to be analyzed by representational similarity analysis for model comparison.

在本文中，我们引入了一个新型的神经网络训练框架，该框架增加了模型对对抗性攻击的对抗性鲁棒性，同时通过将对比度学习（CL）与对抗性训练（AT）结合在一起，以保持高清洁精度。我们建议通过学习在数据增强和对抗性扰动下保持一致的特征表示来提高对对抗性攻击的模型鲁棒性。我们利用对比的学习来通过将对抗性示例视为另一个积极的例子来提高对抗性的鲁棒性，并旨在最大化数据样本的随机增强及其对抗性示例之间的相似性，同时不断更新分类头，以避免在认知解离之间分类头和嵌入空间。这种分离是由于CL将网络更新到嵌入空间的事实引起的，同时冻结用于生成新的积极对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗性特征（CLAF）的对比度学习，在该数据集上，它在替代监督和自我监督的对抗学习方法上均优于强大的精度和清洁精度。

详细研究了图像上微生物对象的密度图（DM）方法的统计特性。DM由U $^2 $ -NET给出。使用了深层神经网络的两种统计方法：引导程序和蒙特卡洛（MC）辍学。对DM预测的不确定性的详细分析导致对DM模型的缺陷有了更深入的了解。根据我们的调查，我们提出了网络中的自称模块。改进的网络模型，称为\ textIt {自称密度映射}（SNDM），可以单独校正其输出密度映射，以准确预测图像中对象的总数。SNDM体系结构优于原始模型。此外，两个统计框架（Bootstrap和MC脱落）都对SNDM均具有一致的统计结果，在原始模型中未观察到。SNDM效率与检测器碱模型相当，例如更快和级联R-CNN检测器。

已经提出了多种寻找属于种植的致密子图的顶点的方法，以随机致密的$ G（n，p）$图表，重点是种植的派系。这些方法可以识别多项式时间中的种植的子图，但全部限于几个子图结构。这里，我们呈现Pygon，这是一种基于图的神经网络的算法，这对种植子图的结构不敏感。这是第一个使用高级学习工具来恢复密集子图的算法。我们表明Pygon可以恢复尺寸$ \ theta \ left的派系（\ sqrt {n}右）$，其中$ n $是背景图的大小，与现有技术相当。我们还表明，相同的算法可以在指向和无向图形中恢复左转（\ sqrt {n \右）$的尺寸尺寸的其他种植的子图。我们建议一个猜想，没有多项式时间PAC学习算法可以检测尺寸小于$ o \ lex的种植的密集子图（\ sqrt {n}右）$，即使原则上也可以找到对数尺寸的密集子图。

尽管对视觉识别任务进行了显着进展，但是当培训数据稀缺或高度不平衡时，深神经网络仍然易于普遍，使他们非常容易受到现实世界的例子。在本文中，我们提出了一种令人惊讶的简单且高效的方法来缓解此限制：使用纯噪声图像作为额外的训练数据。与常见使用添加剂噪声或对抗数据的噪声不同，我们通过直接训练纯无随机噪声图像提出了完全不同的视角。我们提出了一种新的分发感知路由批量归一化层（DAR-BN），除了同一网络内的自然图像之外，还可以在纯噪声图像上训练。这鼓励泛化和抑制过度装备。我们所提出的方法显着提高了不平衡的分类性能，从而获得了最先进的导致大量的长尾图像分类数据集（Cifar-10-LT，CiFar-100-LT，想象齿 - LT，和celeba-5）。此外，我们的方法非常简单且易于使用作为一般的新增强工具（在现有增强的顶部），并且可以在任何训练方案中结合。它不需要任何专门的数据生成或培训程序，从而保持培训快速高效

深度分离结果提出了对深度神经网络过较浅的架构的好处的理论解释，建立前者具有卓越的近似能力。然而，没有已知的结果，其中更深的架构利用这种优势成为可提供的优化保证。我们证明，当数据由具有满足某些温和假设的径向对称的分布产生的数据时，梯度下降可以使用具有两层S形激活的深度2神经网络有效地学习球指示器功能，并且隐藏层固定在一起训练。由于众所周知，当使用用单层非线性的深度2网络（Safran和Shamir，2017）使用深度2网络时，球指示器难以近似于一定的重型分配，这建立了我们最好的知识，基于第一优化的分离结果，其中近似架构的近似效益在实践中可怕的。我们的证明技术依赖于随机特征方法，该方法减少了用单个神经元学习的问题，其中新工具需要在数据分布重尾时显示梯度下降的收敛。

我们介绍了一种有效的策略来产生可用于培训深层学习模型的培养皿的微生物图像的合成数据集。开发的发电机采用传统的计算机视觉算法以及用于数据增强的神经风格传输方法。我们表明该方法能够合成可用于培训能够定位，分割和分类五种不同微生物物种的神经网络模型的现实看起来的数据集。我们的方法需要更少的资源来获取有用的数据集，而不是收集和标记具有注释的整个大型真实图像。我们表明，只有100个真实图像开始，我们可以生成数据以培训一个探测器，该探测器实现了相同的探测器，而是在真实的，几十次更大的数据集上培训。我们证明了微生物检测和分割方法的有用性，但我们预计它是一般而灵活的，也可以适用于其他科学和工业领域来检测各种物体。

标准预审进的语言模型可在子字代币序列上运行，而无需直接访问组成每个令牌字符串表示的字符。我们探究了预审前的语言模型的嵌入层，并表明模型在一个令人惊讶的程度上学习了整个单词和子字代币的内部字符组成，而没有看到字符和令牌。我们的结果表明，罗伯塔（Roberta）的嵌入层具有足够的信息，可以准确地阐明词汇的三分之一，并在所有令牌类型上达到高平均角色Ngram重叠。我们进一步测试了使用其他字符信息丰富子词模型是否可以改善语言建模，并观察到该方法具有几乎相同的学习曲线，作为训练而无需基于拼写的丰富。总体而言，我们的结果表明，语言建模目标激励模型隐式学习一些拼写概念，并且明确教授模型如何拼写的方式似乎并没有增强其在此类任务上的绩效。